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Попередня обробка кандидатв при виявленн! 
автомоб1льних номер\в на зображеннях 


Статья посвящена проблеме ускорения процесса поиска объектов на изображениях, основанного на 
использовании мультимасштабного сканирования. Для решения этой задачи предлагается использовать 
предварительную обработку кандидатов с использованием интегральных характеристик. Для задачи 
обнаружения автомобильных номерных знаков определен интегральный показатель, позволяющий 
исключить из дальнейшего рассмотрения до 60% кандидатов при нулевой ошибке пропуска объекта. 
Результаты проведенных экспериментов могут быть распространены на задачи поиска других объектов на 
изображениях при условии проведения дополнительных исследований по определению удовлетво- 
рительного интегрального показателя, что связано с различными свойствами изображений объектов поиска. 
Ключевые слова: распознавание изображений, обнаружение объектов, анализ изображений, класси- 


фикация изображений. 
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Стаття присвячена проблем! прискорення процесу пошуку об’ектв на зображеннях, заснованого на 
використанн! мультимасштабного сканування. Для виришення цього завдання пропонуеться використати 
попередню обробку кандидатв з використанням 1нтегральних характеристик. Для задач! виявлення 
автомоб1льних номерних знак!в визначений 1нтегральний показник, що дозволяе виключити з подальшого 
розгляду до 60% кандидатв при нульовй помилщ! пропуску об’екта. Результати проведених 
експериментв можуть бути поширен! на задач! пошуку 1нших об’ектв на зображеннях за умови 
проведення додаткових досл1джень з визначення задовльного 1нтегрального показника, що пов’язано з 
ризними властивостями зображень об’ектйв пошуку. 

Ключов! слова: розпвнавання зображень, виявлення об’екпв, анал!з зображень, класификац зображень. 
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Введение 


Задача обнаружения объектов является актуальным направлением исследова- 
ний в области создания автоматических систем анализа и распознавания изобра-же- 
ний. Как правило, интересующий объект (лицо, номерной знак, фигура человека) 
занимают небольшую часть всего изображения. Обнаружением в этом случае при- 
нято считать определение области присутствия объекта поиска как фрагмента изобра- 
жения. Часто при такой постановке задачи требуется определить положение, масштаб и, 
иногда, угол поворота изображения объекта в плоскости изображения. 

Одним из способов решения задачи обнаружения является использование мульти- 
масштабного сканирования изображений, заключающегося в проходе по изображению 
сканирующими окнами разного масштаба [1]. Для каждого положения окна и масштаба 
выполняется анализ соответствующего фрагмента изображения, называемого канди- 
датом, с целью определения его принадлежности к объекту или фону. При использовании 
мультимасштабного сканирования существует несколько параметров, влияющих на ско- 
рость обработки изображения: диапазон масштабов поиска и шаг по масштабам, совмест- 
но определяющие количество масштабов сканирующих окон; горизонтальный и верти- 
кальный шаги прохода по изображению; скорость классификации кандидата. 

Для ускорения процесса классификации в большинстве случаев удается выпол- 
нить каскадную организацию классификаторов, целью которой является исключение 
большего количества кандидатов на начальных, более простых, классификаторах 
каскада. Для получения каскада классификаторов можно использовать объединения 
простых Хаар-подобных свойств, полученные на основе алгоритма АдаВооз [2-5], 
МКВ-классификаторов [6] и др. 

С другой стороны, существует возможность выполнить предварительное иск- 
лючение ложных кандидатов с использованием вычислительно более простых эврис- 
тических процедур перед применением каскада, что может значительно ускорить 
процесс мультимасштабного сканирования. В случае каскадной организации после- 
дующей классификации, такую предварительную обработку необходимо рассматривать 
как первый этап работы каскада, что позволит получить больший выигрыш в скорости 
сканирования изображения за счет исключения пересечений в результатах работы 
предварительной обработки и начальных классификаторов каскада. 

Целью данной работы является исследование эффективности предварительной 
обработки кандидатов объекта при мультимасштабном сканировании в решении ак- 
туальной задачи обнаружения автомобильных номерных знаков. 


Интег ральные характеристики кандидатов 


При мультимасштабном сканировании изображения кандидатами на принадлеж- 
ность классу объекта являются прямоугольные пересекающиеся области изображения. 
С точки зрения скорости обработки для предварительного анализа кандидатов удобно 
использовать их интегральные характеристики. Под интегральными характеристиками 
здесь понимаются характеристики, значения которых могут быть получены с по- 
мощью интегрального изображения (рис. 1). 

Размеры интегрального изображения равны размерам исходного изображения, 
а яркость пикселей шКх,у) равна сумме яркостей пикселей исходного изображения, 
координаты которых меньше либо равны координатам (х,у), что соответствует за- 
крашенной области на рис. 1: 

Хек. 


Ш (х, у) = 1(:.)). 


1=0 }=0 
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Удобство использования интегрального изображения заключается в упрощении 
расчета суммы яркостей В прямоугольной области исходного изображения: 


Ук 1 ‚= = Ш (<, ‚у, )-+ тах, — У -- по -Ъу,)-— ах ‚У, -1 


1=хо ]=Уо 


Шх.у) 
(х,у) 


Рисунок 1 — Получение интегрального изображения 


Использование серии интегральных изображений открывает возможности для 
получения широкого круга интегральных характеристик областей изображения, в 
частности: 

_ о о 


хх 1. ‚где М№=(х, -х, +0. (у, -У, +1) — число пикселей в области; 
МЕ =хо ]=Уо 
— дисперсия яркости 


и | 
= —», УР, )-м?, для вычисления необходимо дополнительно рассчитать 


интегральное изображение квадратов яркостей исходного изображения; 
— моменты яркости 3-го и выше порядков; 
=. оризонтальный И вертикальный центры масс яркости области 


>>.) 516.) 


1=хо |= 1=хи = 
(@ —: о ./-Уо : (@) = о }=Уо ; ИТД. 


Бог х У уей Хх! 
ри ху; 
1=хо ]-Уо 1=хо )=Уо 

Кроме исходных изображений для получения интегральных характеристик мо- 
гут использоваться изображения границ, локально контрастированные изображения 
и другие, предварительно обработанные, изображения. 

Другим направлением расширения возможностей использования интегральных 
характеристик является разбиение ИСХОДНОЙ области кандидата на подобласти. В этом 
случае появляется возможность использовать серию интегральных характеристик, в 
частности, в виде более сложного комплексного интегрального показателя, что поз- 
волит увеличить эффективность предварительной обработки кандидатов. 


Р езультаты проведенных экспериментов 


Для исследований качества предварительной обработки кандидатов была выбрана 
задача обнаружения на изображениях автомобильных номерных знаков. В экспери- 
ментах использовался набор из 30 000 изображений номерных знаков и 30 000 слу- 
чайно выбранных изображений фона. Для формирования набора изображений фона 
из 3000 реальных изображений дорожной обстановки в ходе мультимасштабного 
сканирования случайным образом выбирались кандидаты. 
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Для оценки качества интегрального показателя использовался процент правиль- 
ного исключения изображений фона (100% минус процент ложного обнаружения) 
при нулевом проценте пропуска номерного знака. 

Для получения интегральных характеристик кандидатов использовалось только 
исходное полутоновое изображение и различные виды разбиения изображения кан- 
дидата на подобласти, как показано на рис. 2. 


а) 6) в) г) д) 
Рисунок 2 — Используемые разбиения изображения кандидата на подобласти: 


а) полное изображение кандидата; 6) разбиение 2*1; 
в) разбиение 1*2; г) разбиение 4*1; д) разбиение 2*2 


Для каждого интегрального показателя с использованием тестовых наборов 
изображений номерного знака и фона рассчитывались плотности распределения 
значений показателя для объекта и фона, как показано на рис. 3. 

На основе получаемых зависимостей рассчитывалась оценка качества иссле- 
дуемого интегрального показателя. 

Отделение областей фона и объекта выполнялось установкой порогов на значе- 
ния показателя. 

В качестве значений порогов выбирались левая и (или) правая граница полу- 
ченных значений показателя для изображений объекта, что следует из необходи- 
мости нулевого процента пропуска автомобильных номеров. 

В ходе проведенных экспериментов были получены результаты, приведенные в 
табл. 1. 


1 51 101 151 201 251 301 351 401 451 51 551 601 651 701 751 301 351 901 951 


| — + Изображения фона —=_— Изображения номерного зна ] 


Рисунок 3-— Распределения значений показателя: отношение дисперсии к корню 
средней яркости, вычисленного для полного изображения кандидата 


Как видно из полученных результатов, наилучшие качественные показатели 
показала интегральная характеристика, задаваемая выражениями: 
шт р,,0,,О.,0,) ши(р,,О,) 


\Лтах(М,,М,,М,,М,) И \Лтах(М,,М, ) › 


соответственно для разбиений д) и 0) согласно рис. 2. При использовании гори- 
зонтального разбиения на две подобласти 6) удается исключить из рассмотрения 
43% изображений фона (12-я строка таблицы 1), вертикального в) — 35% фона (14-я 
строка табл. 1), что говорит о перспективности использования горизонтального раз- 
биения изображения кандидата. При разбиении на четыре подобласти наилучшие 
результаты показало разбиение д) показавшее 60% качество исключения изо- 
бражений фона (15-я строка табл. 1). 
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Таблица 1 — Результаты исследований эффективности интегральных характеристик 


Вид Процент 
№ Вид характеристики рен Тип порога и 
согласно исключения 
рис. 2 изображений фона 
тношение дисперсии к средней яркости а двусторонний 
ый рсии к средней яр усторонний 25 
2 Дисперсия а) левый 17 
3 Средняя яркость а) двусторонний 5 
4 С 
Отношение и ее из средней а) ее 57 
5 Произведение ВЫ на среднюю а) ый 4 
6 р* (му 25 ‚ где О — дисперсия яркости, а ай 25 
М - средняя яркость 
7 ОБ, +50, 
р ‚ме О и о, — дисперсии в 6) левый 19 
областях разбиения 
8 ш(О,,О 
шир, р.) 6) левый 18 
9 ши(м,,М,) 
м ‚ где М; и М, - средние 6) левый 3 
яркости в областях разбиения 
10 р р, м я 
| ЖИ 6) левый 17 
м м, ]Ь 
п ши(р,,О,) 5 - с 
ое Е левый 
тах(М М. ) 
12 ши (2,,р,) 
ЕЯ (м М ) 6) левый 43 
12 7 
13 ши(р,,0,) р 
у б Й 36 
\Гтах(М, м, ) УМ ) левый 
14 ши(о,,о,) 
тах(м,.м,) в) левый 35 
12 2 
15 ши(р,,О,,р.,р,) 
левый 60 
\Дтах(М,,М,.М.,М.) и 
16 шт (2,,р,,р,,ро,) . 
ла мм, м. м) г) левый 49 


Выводы 


Результаты проведенных исследований показали перспективность использова- 
ния при мультимасштабном сканировании изображений с целью обнаружения объектов 
предварительной обработки кандидатов на основе интегральных характеристик. Для 
задачи обнаружения автомобильных номерных знаков определен интегральный по- 
казатель, позволяющий исключить из дальнейшего рассмотрения до 60% кандидатов 
при нулевой ошибке пропуска объекта. В случае каскадной организации после- 
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дующей классификации предварительную обработку необходимо рассматривать как 
первый этап работы каскада, что позволит получить больший выигрыш в скорости 
сканирования изображения за счет исключения пересечений в результатах работы 
предварительной обработки и начальных классификаторов каскада. Результаты прове- 
денных экспериментов могут быть распространены на задачи поиска других объектов 
на изображениях при условии проведения дополнительных исследований по опреде- 
лению удовлетворительного интегрального показателя, что связано с различными 
свойствами изображений объектов поиска. 
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КЕ5ОМЕ 
К.И. Мигуот 
Ргейттагу Ргосезяте оГСапасщеу и Раеспоп оГСаг Реие$ 
оп [таее5 


ТБе агасе 15 деуо{е4 ю ассегайпе, оЁ ппасе зеагсЬте ш об] ес даесйоп {азК Базеа 
оп Фе изе ортиЯ-зсае зсапишо. Рог зо[уше 1$ ргоЫет 1$ ргорозе4 фо изе Те ргебеайтепе 
сапа ез изшо Ше п\еота| Ееабгез. Аз пеота| свагасет$Нс$ И Уаз изе4 Ееаблгез а{ сап 
Бе оМаше4 изше фе пщеота| птазе. ТБе гези5 оРе та4е ехрегипеп зВо\уе4 Ше ргопл1зе 
ОР чзе ш тиН-зсае зсаппше ппасез ю даесё обес оЁ Ше ргорозе4 рге-беайтепе оЁ 
сапа Чаез. Ког Фе ргоет оЁ даесНоп ог Псепзе р!аез 15 оМашей пщеога| Ееаблге, УТсв 
аПо\уз ю ехсаде Нот Ёиег сопуегайоп оЁРир ю 60% оЁе сап4Чаез$ а Ше тего п115$1 
оБуес{ егтог. ше сазе оРа сазсаде отсаштаноп ег с1азз1Ясайоп рге-феайтепЕ звош4 Бе 
сопз1еге4 аз Фе Вгзё 5асе ое сазса4е Шаё ул уе отежег сашз ш зрее4 птазе зсаппте 
Бу ешитайпе Фе пиегзесноп$ ш Фе гези5 оЁ Ше рге-шеайлепе ап пиа| с1а5$Шсайоп 
асе. ТВе гези {5 оРШе ехрегипет сап Бе ежепде4 о Фе ргоет оЁ Нпаше офег обес ш 
Фе ппазез ргоу14е4 а4Фвопа| гезеагсВ © деетите а зайзРасюгу и\еота| Геафге, Фае ю Ше 
Ч етет ргорегиез оРдвемцщеа обес ипасез. 
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